import os
# 禁用libuv以避免RuntimeError
os.environ["USE_LIBUV"] = "0"

from vllm import LLM, SamplingParams

# 示例提示
prompts = [
    "Hello, my name is",
    "The capital of France is",
    "Explain quantum computing in simple terms"
]

# 配置采样参数
sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=100)

# 初始化LLM（使用较小的模型进行测试）
print("加载模型...")
llm = LLM(model="gpt2", device="cuda")  # 使用gpt2作为测试模型

# 生成文本
print("生成文本...")
outputs = llm.generate(prompts, sampling_params)

# 打印结果
print("
=== 生成结果 ===")
for i, output in enumerate(outputs):
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"提示: {prompt}")
    print(f"生成: {generated_text}")
    print("=" * 50)